De eerste bekende heer van het château de Là-Bas was Jean de Vaul, in 1450. Later kwam het goed in bezit van de familie dé Posson. In 1734 herbouwde de baronnen dé Posson het kasteel. Op beide torens van kasteel zijn ook hun wapenschild te vinden. In 1783 trouwde Lambert de Philippart met Philippine de Posson en erfde het landgoed. Ze kregen zes kinderen, onder wie Charles Philippart die burgemeester van Aische-en-Refail was. In 1819 kwam het landgoed in handen van zijn zuster, Rose Josephine, die in 1819 trouwde met graaf Philibert Emmanuel Van Goidtsnoven. In 1870 herstelde kleinzoon Leopold Van Goidtsnoven, echtgenoot van gravin Van der Burch, het kasteel en kreeg het zijn huidige vorm.
Tijdens de Tweede Wereldoorlog kampeerden prinsen Boudewijn en Albert in 1942 op het terrein. In die tijd beschermde het Manoir in het geheim Joodse kinderen.
In 1955 kreeg het landgoed een toeristische functie. Meer dan vijftig jaar deed dit luxueuze landgoed van 20 hectare dienst als camping. Na financiële problemen sloot de camping de deuren en werd het gekocht door een belegger in onroerend goed.